随机梯度下降（SGD）由于其计算效率而被广泛用于深度学习，但对为什么SGD的性能如此出色的完全理解仍然是一个重大挑战。从经验上观察到，损失功能的大多数特征值在过度参数的深神经网络的损失景观上接近零，而只有少数特征值大。零特征值表示沿相应方向的零扩散。这表明最小值选择的过程主要发生在与Hessian最高特征值相对应的相对较低的子空间中。尽管参数空间非常高，但这些发现似乎表明SGD动力学可能主要存在于低维歧管上。在本文中，我们采取了一种真正的数据驱动方法，以解决对高维参数表面的潜在深入了解，尤其是通过分析通过SGD或任何其他任何其他数据来追溯到SGD所追踪的景观的理解，尤其是对景观的了解。为此，优化器为了发现优化景观的（本地）低维表示。作为探索的车辆，我们使用R. Coifman和合着者引入的扩散图。
translated by 谷歌翻译
风险评估在任何工作场所相关，然而，在处理易燃或危险物质时，在处理易燃或危险物质时，在这种情况下，这种情况都有程度的不可预测性可能是不够的。这的一个例子是喷射火灾的冲击，火焰的热量可以达到附近的设备，并显着增加Domino效应与灾难性结果的概率。因此，从风险管理的角度来看，这种火灾事故的表征是重要的。一种这样的表征将是火焰中不同辐射区的分割，因此本文提出了有关几种传统计算机视觉和深度学习分割方法来解决此具体问题的探索性研究。还探讨了使用丙烷喷射火灾的数据集丙烷喷射火灾训练和评估不同地区的分布以及寻求缓解数据不平衡的不同丢失功能的分布。此外，不同的指标与专家执行的手动排名相关联，以便对专家的标准密切相关的评估。 Hausdorff距离和调整后的随机索引是具有最高相关性的度量，并且从UNET架构获得了具有加权交叉熵损耗的最佳结果。这些结果可用于未来的研究，以从分割面具中提取更多几何信息，或者甚至可以在其他类型的火灾事故中实施。
translated by 谷歌翻译